纵观人类发展的历史，人类对信息的获取能力和利用水平直接决定了社会生产力的发展程度。甚至可以说，人类发展的历史就是人类与信息逐渐融合的历史。

在古代，信息的获取和传输极为困难，人与信息的融合处在极低的水平，知识以静态、离散的形式存在，掌握知识的人被奉为上宾。在电话交互时代，信息交换速度大幅提升，知识被分类为成体系的学科，个体通过努力可以在一定的时间内掌握一个学科较为完整的知识，并成为该领域的专家。而到了移动互联网时代，信息以碎片化、网络化、动态化的形式出现，海量信息实时更新，信息产生的速度超过了人类学习速度的极限，个体已经无法掌握一个学科的所有知识，每个个体都被大量冗余的信息包围，人与信息的矛盾从如何提高获取效率，变为如何有效提炼和利用信息。因此，提升信息使用效率的信息呈现和交互方式成为影响生产力及创新能力的决定性因素。

“无屏”显示的概念

在讨论信息呈现与交互过程的时候，我们首先会遇到“屏幕”的概念。抽象的屏幕概念可以理解为：包含可呈现信息的特定显示区域以及限定这个区域的边界两个部分。屏幕作为信息呈现的主要承载方式，几乎是所有信息系统中最为基本和核心的组成部分。可以说，屏幕的形式实际上决定了信息系统的形式，进而决定了人们如何使用这个信息系统。一个多世纪以来，屏幕形态的发展大致经历了电影屏幕、电视屏幕、移动屏幕三个阶段，每一种屏幕形态都直接导致了信息交互系统的颠覆性变革。而今，随着虚拟现实(VR)和增强现实(AR)技术的发展，人与信息的关系再一次发生变化，屏幕的形态也有了新的发展，即所谓“无屏之屏”，如图1所示。

“无屏”呈现的具体内涵可以理解为屏幕边界的消失。具体来说，在虚拟现实系统中，普通的屏幕显示转变为沉浸式显示，用户被完整地包裹在由显示设备呈现的虚拟环境中，所见内容无处不是由“屏”所显示，但用户无法直接看到这个“屏”的边界，也因此无法形成“屏幕”的概念。而增强现实中，所显示的信息能够叠加在真实环境的任何位置，实现虚实融合的显示和无处不在的显示，使屏幕的边界随之消失。

那么“无屏”为我们带来了什么呢？为了解释这个问题，我们必须先正视一个事实：人类对视觉信息的多样化需求导致屏幕也呈现出多样化的势态。对视觉信息的丰富性要求高的应用场景需要的屏幕尺寸越来越大，如电影院；而对便携性要求高的应用场景又需要屏幕越来越小，如手机和智能腕表等（见图2）。传统的屏幕受限于其物理尺寸，使得不同的应用场景下需要使用不同的屏幕。“无屏之屏”的出现，突破了屏幕显示的物理限制，能够同时满足大与小的需求，实现了多屏合一和人与信息的全天候深度融合。

在信息爆炸的今天，海量的信息已经远远超出了人的接受和认知能力。在“无屏”模式中，所有信息无障碍地呈现在人们周围，信息的呈现速度完全可以高于大脑的处理速度，这会导致所谓的“信息中毒”，使人疲惫不堪。为此，我们必须有效地提炼和过滤信息，然后再呈现给用户，并通过自然人性的方式实现人与信息的互动。而人工智能正是解决这一问题的最行之有效的技术手段。

在现阶段，头戴式显示设备（头显）已成为无屏显示的主要形式，各种增强现实和虚拟现实“头显”不断涌现。总体来看，无屏技术尚处在发展的初期，一些技术痛点尚未得到很好的解决。真正的自然显示与交互应该让使用者忘却科技产品的存在，以更为亲和的方式实现信息融合。

从更深层次考虑以头戴显示设备为核心的“无屏”显示需求（见图3），可以将其具体化为如下三点：(1)感之无。使人们在佩戴时尽量不会感觉到显示设备的存在；(2)视之无。符合人眼日常观看习惯，不会产生视觉疲劳；(3)触之无。让人们能够与显示内容自然交互，实现无触摸屏的交互。

感之无——穿戴无扰化

穿戴无扰化的主要需求在于头戴显示设备重量低、体积小，在用户眼前的透视元件的厚度很薄。在这方面，我们在本世纪初就开始了相关的研究工作。

2003年，我们在国内率先提出基于传统旋转对称光学系统的图像融合器件（见图4），并获得国家发明专利。从图4中可以看出，这个光路图和2012年谷歌推出的著名的Google Glass是异曲同工的，我们比它只多了几片光学元件，增大了系统的视场角。

“十一五”期间，我们用最新的自由曲面光学技术设计研制出了超轻超小的增强现实眼镜，并获得中国、美国发明专利（见图5）。由于光焦度主要在反射面上，无须校正色差，一片元件即可实现成像，再加一片自由曲面补偿镜就可以方便地实现光学透视。基于这项研究成果，我们已经推出单目、双目产品，并成功地支持了数个上市或创业公司的产品发布。与各个跨国公司的现有产品比较，我们在视场角、分辨率和透视效果等主要技术指标方面均处于领先地位。

纵观人类发展的历史，人类对信息的获取能力和利用水平直接决定了社会生产力的发展程度。甚至可以说，人类发展的历史就是人类与信息逐渐融合的历史。

在古代，信息的获取和传输极为困难，人与信息的融合处在极低的水平，知识以静态、离散的形式存在，掌握知识的人被奉为上宾。在电话交互时代，信息交换速度大幅提升，知识被分类为成体系的学科，个体通过努力可以在一定的时间内掌握一个学科较为完整的知识，并成为该领域的专家。而到了移动互联网时代，信息以碎片化、网络化、动态化的形式出现，海量信息实时更新，信息产生的速度超过了人类学习速度的极限，个体已经无法掌握一个学科的所有知识，每个个体都被大量冗余的信息包围，人与信息的矛盾从如何提高获取效率，变为如何有效提炼和利用信息。因此，提升信息使用效率的信息呈现和交互方式成为影响生产力及创新能力的决定性因素。

“无屏”显示的概念

在讨论信息呈现与交互过程的时候，我们首先会遇到“屏幕”的概念。抽象的屏幕概念可以理解为：包含可呈现信息的特定显示区域以及限定这个区域的边界两个部分。屏幕作为信息呈现的主要承载方式，几乎是所有信息系统中最为基本和核心的组成部分。可以说，屏幕的形式实际上决定了信息系统的形式，进而决定了人们如何使用这个信息系统。一个多世纪以来，屏幕形态的发展大致经历了电影屏幕、电视屏幕、移动屏幕三个阶段，每一种屏幕形态都直接导致了信息交互系统的颠覆性变革。而今，随着虚拟现实(VR)和增强现实(AR)技术的发展，人与信息的关系再一次发生变化，屏幕的形态也有了新的发展，即所谓“无屏之屏”，如图1所示。

图1　屏幕形式的发展

“无屏”呈现的具体内涵可以理解为屏幕边界的消失。具体来说，在虚拟现实系统中，普通的屏幕显示转变为沉浸式显示，用户被完整地包裹在由显示设备呈现的虚拟环境中，所见内容无处不是由“屏”所显示，但用户无法直接看到这个“屏”的边界，也因此无法形成“屏幕”的概念。而增强现实中，所显示的信息能够叠加在真实环境的任何位置，实现虚实融合的显示和无处不在的显示，使屏幕的边界随之消失。

那么“无屏”为我们带来了什么呢？为了解释这个问题，我们必须先正视一个事实：人类对视觉信息的多样化需求导致屏幕也呈现出多样化的势态。对视觉信息的丰富性要求高的应用场景需要的屏幕尺寸越来越大，如电影院；而对便携性要求高的应用场景又需要屏幕越来越小，如手机和智能腕表等（见图2）。传统的屏幕受限于其物理尺寸，使得不同的应用场景下需要使用不同的屏幕。“无屏之屏”的出现，突破了屏幕显示的物理限制，能够同时满足大与小的需求，实现了多屏合一和人与信息的全天候深度融合。

图2　多样化的需求决定了多样化的屏幕

在信息爆炸的今天，海量的信息已经远远超出了人的接受和认知能力。在“无屏”模式中，所有信息无障碍地呈现在人们周围，信息的呈现速度完全可以高于大脑的处理速度，这会导致所谓的“信息中毒”，使人疲惫不堪。为此，我们必须有效地提炼和过滤信息，然后再呈现给用户，并通过自然人性的方式实现人与信息的互动。而人工智能正是解决这一问题的最行之有效的技术手段。

在现阶段，头戴式显示设备（头显）已成为无屏显示的主要形式，各种增强现实和虚拟现实“头显”不断涌现。总体来看，无屏技术尚处在发展的初期，一些技术痛点尚未得到很好的解决。真正的自然显示与交互应该让使用者忘却科技产品的存在，以更为亲和的方式实现信息融合。

从更深层次考虑以头戴显示设备为核心的“无屏”显示需求（见图3），可以将其具体化为如下三点：(1)感之无。使人们在佩戴时尽量不会感觉到显示设备的存在；(2)视之无。符合人眼日常观看习惯，不会产生视觉疲劳；(3)触之无。让人们能够与显示内容自然交互，实现无触摸屏的交互。

图3　“无屏”显示需求

感之无——穿戴无扰化

穿戴无扰化的主要需求在于头戴显示设备重量低、体积小，在用户眼前的透视元件的厚度很薄。在这方面，我们在本世纪初就开始了相关的研究工作。

2003年，我们在国内率先提出基于传统旋转对称光学系统的图像融合器件（见图4），并获得国家发明专利。从图4中可以看出，这个光路图和2012年谷歌推出的著名的Google Glass是异曲同工的，我们比它只多了几片光学元件，增大了系统的视场角。

图4　基于传统旋转对称光学系统的图像融合器件

“十一五”期间，我们用最新的自由曲面光学技术设计研制出了超轻超小的增强现实眼镜，并获得中国、美国发明专利（见图5）。由于光焦度主要在反射面上，无须校正色差，一片元件即可实现成像，再加一片自由曲面补偿镜就可以方便地实现光学透视。基于这项研究成果，我们已经推出单目、双目产品，并成功地支持了数个上市或创业公司的产品发布。与各个跨国公司的现有产品比较，我们在视场角、分辨率和透视效果等主要技术指标方面均处于领先地位。

图5　用自由曲面光学技术设计研制超轻超小的增强现实眼镜

“十二五”期间，我们进一步利用波导等先进光学元件研制超薄型增强现实眼镜。全息波导是衍射光学元件，色差很大。我们提出单层全息薄膜三次曝光以实现消色差的方法，开发出了基于全息波导的超薄透视眼镜。这个成果的相关论文作为封面文章在美国光学学会Applied Optics 50周年刊上发表（见图6）。

图6　基于全息导波的超薄透视眼镜

我们还探讨了几何波导结合自由曲面光学的超轻薄透视显示方案，利用几何波导降低位于用户眼前的光学元件厚度，而利用自由曲面来增大视场角，使得系统整体体积和重量进一步减小。基于该技术研制的增强现实眼镜，波导厚度为2.4mm，整个系统，包括显示器件的重量只有45克，见图7。

图7　几何波导结合自由曲面光学的超轻薄透视显示方案

目前我们正在做的工作是把增强现实头显的虚实融合显示功能和视度调节功能结合在一起，以便满足近视或远视用户的需求。我们利用自由曲面设计自由度大、树脂镜片易于加工的特点，将光学透射式镜片与定制视度片进行组合设计，从而使用户只需要一副眼镜就能够同时实现视力矫正和透视显示，向着无扰化的目标迈进了很大一步。

视之无——显示透明化

无屏显示技术需求的第二部分是要做到显示透明化，实现视之无。所谓视之无，即戴头显和不戴头显观看的感觉是一样的。其中的关键是要做到大视场角和真三维。

人眼的视场角是很大的，所以增强现实眼镜的视场角也要做得尽可能大。最简单的实现方法是使用较大的图像源的方案，该方案因为采用了大量生产的手机屏，系统成本较低。市面上目前也有这样的产品。但同样是因为使用了体积大的手机屏，又使得系统十分笨重，无法达到佩戴无扰化、感之无的目标。

要同时实现感之无、视之无，还需要采用1英寸以下的微型显示器，现在能够以合理价格买到的显示器最高分辨率为1080P。当系统的视场角增大时，每度视场能够分配到的像素数会逐渐降低。人们提出了不少方法来解决这个问题，其中最彻底的解决方案是光学系统拼接方案。我们研制了基于传统光学系统的双通道拼接大视场浸没式头盔，实现了大于100度视场角的高分辨率显示（见图8）。

图8　双通道拼接大视场浸没式头盔示意图

基于传统光学系统的拼接头盔的最大问题，是子系统光轴与人眼视轴的不重合，导致出现随人眼注视方向不同而变化的视点畸变。这种畸变需要在头盔中安装眼部跟踪设备，确定眼球注视方向，然后用电子方法矫正，从而大幅度提高了系统的复杂度和成本。为此我们创造性地提出自由曲面光学拼接新方案（见图9）。由于自由曲面光学系统设计的自由度大，所有子系统的光轴可以与人眼视光轴重合，从根本上消除了视点畸变，而且还可以方便地实现光学透视。这项技术获得中国、美国、欧洲发明专利授权，我们也应邀在光学领域发行量最大的杂志Laser Focus World上撰文介绍，获得了中国光学领域重要的科技成果奖。

图9　自由曲面光学拼接新方案

要实现视之无，还必须解决虚拟现实和增强现实“头显”容易使人感到晕眩的问题。究其原因，主要是这种左右眼视差型的立体显示技术不符合人眼的观察习惯。在真实世界中，人眼观看一个三维物体时，左右眼同时调焦和会聚在该物体上。而人们观看头盔立体显示时，与目前的3D电视、3D电影一样，眼睛调焦和会聚的距离不一致，时间长了必然引起视觉疲劳和晕眩。

我们利用自由曲面光学设计自由度大的特点，设计了多种双焦面显示方案，一个像面在近处，另一个像面在远处。这样在观看远处的物体时，眼镜可以同时调焦和会聚在远处的像面，近处的物体变得模糊；观看近处的物体时，眼镜可以同时调焦和会聚在近处的像面，远处的物体变得模糊（见图10）。这是符合人眼在真实世界的观察特征的。配合相关算法，我们可以实现近似的线性连续调焦。

图10　双焦面显示方案

我们还把全息显示技术应用到AR眼镜设计中。2016年，我们利用多个空间光调制器实现了多层焦面的显示，2017年我们通过使用光栅耦合，进一步简化了复振幅调制三维头戴显示的系统结构，使其更便于可穿戴设计。

我们在国际上率先提出将光场真三维显示技术与AR眼镜相结合的方案，在眼镜的出瞳，也就是人眼的入瞳渲染稠密的光场，实现符合人眼观察习惯的真三维显示。这种方案可以实现大视角彩色真三维光学透视式显示。我们还提出了多种空分复用和时分复用的方法，解决AR眼镜显示系统空间带宽积低的问题，提高真三维显示的分辨率。

触之无——交互自然化

无屏显示技术需求的第三部分是实现触之无，即用语音交互、手势交互、实物交互等方法实现自然交互，取代目前的触摸屏交互。触之无的核心是实现能够配合“无屏”显示的更为自然真实的交互方式。

在这方面，我们研究了基于随机线段特征算子的实时手势交互方法，同时正在与中科院软件所、工信部五院等单位密切合作，制定无屏隔空手势交互的国家标准。

我们通过深度传感器实时获得用户手部形状，并实现真实手部与虚拟物体之间的三维配准。这样用户可以用手直接与增强现实头显中显示的虚拟物体进行交互。我们还设计了魔方、键盘两个不同的交互对象（见图11）。实验证明，用手与虚拟物体直接交互的效率要比纯粹的虚拟键盘交互的效率更高。

图11　虚拟物体交互

此外，我们还尝试将虚拟显示的内容与真实的机器人相结合，以实现交融更为真实的互动效果（见图12）。在这个系统中，首先有一个存在于真实世界的机器人实体。当用户佩戴AR“头显”去观察这个机器人时，视野中就会呈现一个面部细节丰富的虚拟人物。用户可以用手触摸到这个机器人，并与他进行握手、拥抱等互动，同时机器人也可以通过语音与用户进行简单的交流。附着在实体机器人与人的交互中，虚拟角色的表情也会随之改变，以表达机器人的心情。

图12　虚拟显示与真实机器人相结合

结语

随着手机等智能终端的移动触摸交互屏的技术日益成熟和广泛应用，人与信息之间已经形成了有界融合、主从相伴的关系。以虚拟现实、增强现实为代表的“无屏”呈现技术的蓬勃发展，是传统屏幕的概念正在被颠覆，新的“无屏”显示时代已经到来。我们已经成功将这些新技术应用于宇航、医疗、工业、文化娱乐等领域。

“无屏”技术促进显示设备从便携化向无扰化、透明化发展。“无屏”的呈现，革新了人机之间信息交互的机制与模式，使得人对信息的利用效率达到前所未有的高度。通过与人工智能的深度结合，这种新的人机融合方式将会彻底改变人们的工作和生活方式，以致推动人类的“进化”，故此在大众应用方面具有广阔的市场前景。

图13　移动增强现实可以使人类第二次站立起来

我们的口号是，移动增强现实可以使人类第二次站立起来。图13是根据我的创意，由我中心的美工进行绘制的。现网上有很多版本，也来源于我们的创意。图13的大致意思是人类进化逐渐站立起来，有了计算机以后又不得不坐在电脑台前。手机等智能移动终端可以使人类离开电脑台，然而是以一种非常不健康的方式：屏幕小对眼睛不好，需要低头看对颈椎不好，触摸屏交互占据了人的双手。增强现实透视眼镜可以实现虚实融合显示，视场角可以很大，不影响人们观察真实世界，而且可以在其上叠加计算机生成的文字、图片、动画、三维模型，帮助人们更好地理解真实世界，语音、手势等自然交互方式将彻底解放人的双手。所以，增强现实眼镜可以使人类第二次昂首挺胸地站立起来，技术成熟后，很有可能取代手机，成为下一代移动终端。     ■

（本文根据CNCC 2017特邀报告整理而成）